Trong thời kỳ Nhật Bản trung cổ, Kanagawa là một phần của các tỉnh Sagami và Musashi. Kamakura ở trung tâm của Sagami là thủ đô của Nhật Bản trong thời kỳ Kamakura (1185-1333). Trong thời kỳ Edo, phần phía Tây của tỉnh Sagami đã nằm dưới quyền cai trị của daimyo Lâu đài Odawara, trong khi phần phía Đông nằm trực tiếp dưới quyền cai trị của Tướng quân Tokugawa ở Edo (Tokyo).

Phó đề đốc Hải quân Mỹ Matthew Perry cập bờ Kanagawa năm 1853 và 1854, và ký Hiệp định Kanagawa buộc mở cửa các cảng Nhật Bản cho Hoa Kỳ. Yokohama, cảng nước sâu lớn nhất ở vịnh Tokyo đã được mở cửa cho các nhà buôn nước ngoài năm 1859 sau nhiều năm bị nước ngoài gây sức ép và dần dần phát triển thành thương cảng lớn nhất Nhật Bản. Yokosuka gần đó, gần cửa vịnh Tokyo hơn, đã phát triển thành một quân cảng và ngày nay là đại bản doanh của Hạm đội 7 Hoa Kỳ và các hoạt động hạm đội của hải quân Nhật Bản

Yokohama, Kawasaki và các thành phố lớn khác bị phá hủy nặng trong Trận động đất lớn Kantō năm 1923 và bom Mỹ năm 1945.